|
課程名稱 |
隨機控制
Stochastic Control |
|
開課學期 |
109-2 |
|
授課對象 |
電機資訊學院 電機工程學研究所 |
|
授課教師 |
王和盛 |
|
課號 |
EE5090 |
|
課程識別碼 |
921 U4700 |
|
班次 |
|
|
學分 |
3.0 |
|
全/半年 |
半年 |
|
必/選修 |
選修 |
|
上課時間 |
星期四10,A,B(17:30~20:10) |
|
上課地點 |
電二104 |
|
備註 |
總人數上限：40人 |
|
Ceiba 課程網頁 |
http://ceiba.ntu.edu.tw/1092EE5090_SC |
|
課程簡介影片 |
|
|
核心能力關聯 |
核心能力與課程規劃關聯圖 |
|
課程大綱
|
|
為確保您我的權利,請尊重智慧財產權及不得非法影印
|
|
課程概述 |
本課程系研究所課程，課程主要內容是介紹具備隨機性與不確定性的系統之分析與控制，以及其應用。課程首先將簡介隨機程序以及Markov Decision Processes，接著將介紹各種最佳化法則與原理，以及估測器與平滑濾波器之設計，課程後期將介紹一些進階的課題，引入Hidden Markov Model，以及其在強化學習 (Reinforcement Learning) 演算法之應用。同時，也將介紹基本的量子系統量測的方法。 |
|
課程目標 |
1. 瞭解隨機系統之動態模型特性。
2. 瞭解濾波器與平滑濾波器設計方法。
3. 學習如何利用各種最佳化法則設計隨機系統控制器。
4. 瞭解如何利用強化學習的方法，設計控制法則
|
|
課程要求 |
預修課程：線性代數、機率 |
|
預期每週課後學習時數 |
|
|
Office Hours |
|
|
指定閱讀 |
Jason L. Speyer and Walter H. Chung, Stochastic Processes, Estimation, and Control, SIAM,
Available at https://doi.org/10.1137/1.9780898718591 |
|
參考書目 |
1. Peter S. Maybeck, Stochastic Models, Estimation, and Control, Vol. 1, Navtech Book, 1994.
2. D. Bertsekas, Dynamic Programming and Optima Control, Vol. I and II, 4th Edition, Athena Scientific, 2012.
3. R. G. Brown and P.Y.C. Hwang, Introduction to Random Signals and Applied Kalman Filtering, 4th Edition, John Wiley, 2012.
4. M. Nielsen and I. Chuang, Quantum Computation and Quantum Information, Cambridge, 2017.
5. H.M. Wiseman, Quantum Measurement and Control, Cambridge, 2014.
|
|
評量方式
(僅供參考) |
|
No. |
項目 |
百分比 |
說明 |
|
1. |
平時成績 |
40% |
出席狀況，3~5次作業。 |
2. |
期中考試 |
30% |
|
3. |
期末考試 |
30% |
|
|
|
週次 |
日期 |
單元主題 |
|
第1週 |
2/25 |
Course Overview |
|
第2週 |
3/04 |
Review of Probability and Random Processes (I) |
|
第3週 |
3/11 |
Review of Probability and Random Processes (II) |
|
第4週 |
3/18 |
Introduction to Stochastic System Models (I) |
|
第5週 |
3/25 |
Introduction to Stochastic System Models (II) |
|
第6週 |
4/01 |
Optimal Filtering with Linear System Models (I) |
|
第7週 |
4/08 |
Optimal Filtering with Linear System Models (II) |
|
第8週 |
4/15 |
Optimal Filtering with Linear System Models (III) |
|
第9週 |
4/22 |
Midterm |
|
第10週 |
4/29 |
Kalman Filtering and Linear-Quadratic Gauss Problem (I) |
|
第11週 |
5/06 |
Kalman Filtering and Linear-Quadratic Gauss Problem (II) |
|
第12週 |
5/13 |
Kalman Filtering and Linear-Quadratic Gauss Problem (III) |
|
第13週 |
5/20 |
Hidden Markov Model |
|
第14週 |
5/27 |
Advanced Topic: Reinforcement Learning and Optimal Control |
|
第15週 |
6/03 |
Advanced Topic: A Real-World Stochastic System: Introduction to Quantum Measurements (I) |
|
第16週 |
6/10 |
Advanced Topic: A Real-World Stochastic System: Introduction to Quantum Measurements (II) |
|
第17週 |
6/17 |
Final |
|